Il Ca'd'Oro di Venezia fu' eretto per Marin Contarini, filgio di Antonio Contarini procuratore di San Marco nella prima metà del '400. Il palazzo precedente è stato in parte abbattuto ed integrato in quello nuovo. Ca'd'Oro è un palazzo assai piccolo ma bellissimo, un altro esempio della gotica veneziana che tipicamente mostra motivi bizantini e orientali. Il figlio del proprietario, Pietro ha dovuto dividere il palazzo tra le figlie, così cominciò la storia travagliata della Ca' d'Oro.

Nel Settecento fu proprietà della famiglia Bressa, mentre nell'Ottocento passava di mano in mano e fu oggetto di profondi alterazioni e vandalismo. Per fortuna questi alterazioni furono disfatti quando il barone Giorgio Franchetti acquistava il palazzo. Una nuova scala scoperta fu creata sul modello di quella del Palazzo Contarini dalla Porta di Ferro. La vera del pozzo, il primo lavoro autonomo di Bartolomeo Bon, è originale.

Nel 1916, Giorgio Franchetti donò la Ca'd'Oro e la sua collezione d'arte con capolavori rinascimentali allo stato, e il palazzo fu in seguito trasformato in museo. Nell'aspetto esteriore presenta diversi elementi di contatto con Palazzo Ducale come le forme del traforo del primo piano e la fascia merlata di coronamento, infatti sono della stessa epoca. Il palazzo è articolato attorno ad una corte scoperta, al centro della quale è posizionata una grande vera di pozzo in marmo veronese, opera gia menzionata da Bartolomeo Bon.

Durante i lavori intrapresi da Giorgio Franchetti venne realizzato il pavimento marmoreo con motivi geometrici nel portico del piano terreno che copre 350 m². E' stato lo stesso Franchetti a disegnare i motivi ed a curare i lavori e fece usare pietre preziose fin dall’antichità romana. La collezione di Franchetti, ospitata nel palazzo comprende capolavori di Mantegna, Tiziano, Giorgione, Palmezzano, Guardi, Bordone, ma vi sono bronzi e sculture ed altri dipinti veneti e fiamminghi che fanno parte dalla raccolta statale.